package org.example.rdd

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

/**
 * 从内存中创建rdd
 */
object Spark_RDD_Memory_Par {
  def main(args: Array[String]): Unit = {
    // todo 准备环境
    // local[] 中的[]内容表示，需要启动的核心数目，如果是*则默认是单核
    val conf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("RDD")
    // 配置默认核心数目
    conf.set("spark.default.parallelism","2")
    val sc = new SparkContext(conf)
    // 创建rdd、
    // RDD的并行度&分区  两个分区

    // 不传分区，默认是当前环境的最大可用核心数
    val value: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4), 2)

    value.saveAsTextFile("output")

    // 关闭关键

    sc.stop()
  }
}
